RLVR 无免费午餐：pass@1 提升必付 pass@k 代价
🧭 RLVR 训练中 pass@1 与 pass@k 权衡
用定理证明 RLVR 中 pass@1 增益必然伴随 pass@k 下降，并给出精确权衡边界与诊断方法
📌 工作参考价值（4 点）
- 在电商/搜索/推荐中用 RLVR 微调 LLM 生成式召回、query 推荐或 Agent 策略时，不能只看 top-1 命中或 pass@1：pass@1 显著提升可能以牺牲 pass@k 覆盖率、多样性和长尾生成为代价，必须同时监控 pass@k 或候选多样性指标。
- 论文提供的诊断方法（从 eval log 读 pass@1-pass@k 前沿、order-preserving test、price）可直接迁移到线上 AB：评估生成式推荐/搜索改写模型的 exploration-exploitation 权衡，避免只优化单点指标。
- 熵崩溃结论提醒：RL 微调后生成多样性会塌缩，电商文案、push 消息、搜索 query 生成需要加熵正则或约束，防止生成同质化候选影响后续排序与多样性。
- 多 prompt/多任务联合优化时注意“独家专业化”现象：提升某些 query 模板或类目的生成成功率可能损害另一些，需按 prompt/类目分层监控并设置约束。
入口锁定，内部开放：RLVR 收窄推理解空间的位置研究
🧭 RLVR 推理多样性收缩与入口干预
School of Future Technology, Shanghai University · School of Computer Science, University of Birmingham
定位 RLVR 训练后解空间收缩集中在首个算术操作前，提出晚期参数插值在保持 pass@1 下恢复 37% 覆盖。
📌 工作参考价值（4 点）
- 电商/搜索/Agent 场景用 RLVR 或 RLHF 优化 LLM 后，要监控早步 token 熵：若首步熵快速塌缩，生成候选的多样性和长尾覆盖会下降，影响 query 推荐、文案生成和探索型 Agent。
- 想要恢复多样性但不想牺牲主指标，可尝试参数级干预：将晚期层参数与早期 checkpoint 插值，比 surface prompt 有效，类似推荐模型在 exploit/explore 间做平滑 trade-off。
- 训练管线建议优先 staged SFT–DPO–RLVR，而不是直接上 RLVR；这样能保留早步熵，避免削弱后续多次采样、self-consistency、树搜索等 test-time scaling。
- 若业务依赖 RLVR 后模型生成多个候选，不要指望 prompt 层“生成更多样方案”能救回来，需要从训练状态或解码策略入手。
弱模型引导提升 RLVR 中 LLM 探索
🧭 LLM 强化学习 · 探索增强
Wangxuan Institute of Computer Technology, Peking University · National Engineering Research Center of New Electronic Publishing Technologies
用弱模型生成部分推理前缀，强制主模型续写陌生路径，缓解 RLVR 熵坍塌并提升 pass@k
📌 工作参考价值（4 点）
- 在搜索/推荐场景用 RLVR 微调 LLM（如 query 改写、商品文案生成、可验证奖励排序决策）时，可引入弱模型前缀：用轻量模型生成部分推理或候选文本，由主模型续写，以提升生成多样性，适合需要多个候选解的生成式推荐与 Agent 决策。
- 对 pass@k 有要求的生成管道（多路 query 建议、多候选推荐解释），熵保持比单条平均奖励更重要；该方法无需额外 SFT 或复杂奖励设计，可直接复用现有粗排/轻量模型，工程成本低，作为训练阶段的即插即用探索增强。
- 多模型协同（粗排-精排、teacher-student、Agent 层级）可借鉴跨模型扰动思路：刻意用弱模型产生分布不一致的前缀，让强模型适应陌生输入，提高策略鲁棒性；需注意差异过大可能引入噪声，应调节前缀长度或来源模型。
- 若 RLVR 奖励可验证（点击、转化等），可设计外部前缀机制，避免主策略在高奖励模板上过拟合，扩大覆盖的推理路径。
稳定优势融合：在线策略蒸馏的熵崩溃应对方法
🧭 RLVR与在线蒸馏的稳定融合训练策略 ★ 深度解读
Shanghai University of Finance and Economics · Meituan · The Chinese University of Hong Kong, Shenzhen · Peking University
通过稀疏压缩控制量级、预热退火调度时间，稳定GRPO与OPD优势融合，避免熵崩溃并提升生成质量
📌 工作参考价值（3 点）
- 在强化推荐系统中，业务指标（如点击）提供稀疏奖励，教师模型（如大模型打分）提供密集信号，借鉴SAF的量级控制（top-k稀疏化+tanh压缩）可抑制教师信号中少数极端 token 对梯度更新的主导，避免训练崩溃。
- 采用KL散度触发的预热和线性退火策略，自适应调节教师信号强度，防止早期过度模仿限制探索，后期保留教师指引的同时释放业务奖励的探索压力，可迁移到Agent训练或生成式推荐策略优化。
- SAF仅修改优势融合部分，不增加额外模型或损失，实现轻量、即插即用，适合在已有强化学习训练流程中快速验证教师信号融合效果。
两个优于一个：无坍塌的多奖励RLIF训练框架
🧭 无监督强化学习推理训练优化
Bangladesh University of Engineering and Technology · West Virginia University · University of Aberdeen · Fogsphere (Redev.AI Ltd) · University College London
将内部反馈分解为答案级和完成级互补奖励，结合GDPO归一化与KL-Cov正则化，稳定无监督RL推理训练，性能逼近监督方法
📌 工作参考价值（4 点）
- 多奖励分解思路可迁移至电商Agent策略训练：将单一奖励拆分为任务完成质量（如订单转化）与过程合理性（如对话轮次、信息获取效率），利用类似GDPO的归一化避免信号尺度失衡，防止策略被单一指标劫持。
- KL-Cov正则化可缓解生成式推荐中的“多样性坍塌”：当使用RL微调生成模型（如推荐标题、理由生成）时，显式惩罚低熵token分布，保留探索能力，防止模型输出千篇一律的高概率套路。
- 内部反馈在缺少强监督时构建训练信号：在无法获得真实用户反馈或黄金标准答案的冷启动场景下，利用模型自身的投票（如聚类投票）和自信度作为奖励，可驱动Agent或推荐模型自改进。
- 方法对长程推理的稳定效果可启发多步决策智能体设计：若Agent需执行多步工具调用或逻辑推理，借鉴“答案级+完成级”的双层内部奖励，配合针对性正则化，有望提升长序列决策的鲁棒性。